Trước kia Tân Cương là một vùng rừng núi hoang vu. Năm 1919 có 11 lính chào mào giải ngũ, phần lớn là người gốc Nam Định, Thái Bình nhưng không có ruộng đất, không có điều kiện về quê sinh sống nên được Pháp cho vào ở vùng Tân Cương khai khẩn kiếm kế sinh nhai.

Rồi một số người dân, trong đó có cả một số nhà nho bị nạn cường hào truy bức hoặc dính dáng tới cuộc khởi nghĩa chống Pháp của Nguyễn Thiện Thuật không thể sống ở quê vùng xuôi, đã trốn tránh phiêu bạt lên vùng này và vào vùng Tân Cương dựng lán làm nhà. Năm 1921, vùng Tân Cương đã có vài chục nóc nhà trong đó có những ông đồ như cụ đồ Hai, cụ đồ Nhĩ. Là những nhà nho nên các cụ được ông Nghè kết bạn mặc dù danh phận, ông Nghè Tuân là Tuần Vũ, chức quan đứng đầu một tỉnh. Ngày nay, con cháu cụ đồ Nhĩ nhớ lại rằng lúc nhỏ tuổi đã thấy ông Nghè về chơi với cụ đồ và nhiều lần cho lính về rước mấy cụ ở Tân Cương lên dinh Tuần phủ uống rượu đánh cờ.

Do không muốn bị phụ thuộc và cũng do khoảng cách khá xa với các xã lân cận nên dân Tân Cương xin với ông Nghè cho lập ra một xã riêng, cũng có nghĩa là lập ra một đơn vị hành chính mới. Ông Nghè chuẩn y, cho tiến hành các thủ tục thành lập xã mới và ông đặt tên xã là Tân Cương. Sau khi xã được thành lập, nhân dân Tân Cương mời ông Nghè Sổ về cắm hướng đình. Ngày 10-2 năm Nhâm Tuất 1922, ông Nghè về cắm hướng đình và đình được chính thức khởi công xây dựng, hơn một năm sau thì xong và ông Nghè Sổ được dân suy tôn và thờ làm Thành hoàng sống. Ngày khánh thành đình, ông Nghè không về được nhưng cho lính khiêng hoành phi câu đối về tặng. Điều đáng ngạc nhiên là cách nay bảy tám chục năm mà hoành phi câu đối của ông Nghè tặng cho đình Tân Cương có nội dung rất mới.

Do đình bị phá năm 1947 khi Pháp nhảy dù tấn công Việt Bắc, nên bức hoành phi câu đối khảm xà cừ treo giữa đình không còn nữa, nhưng ngày nay các cụ già ở Tân Cương còn nhớ rất rõ nội dung. Tấm hoành phi đặt giữa đình có ba chữ Đại thắng lợi và đôi câu đối hai bên viết bằng chữ Nôm: Thái Nguyên giàu đẹp muôn muôn thuở, Tân Cương cường thịnh vạn vạn niên. Điều đáng khâm phục là nội dung câu đối này ngày nay vẫn rất phù hợp.

Lễ tế đình, tức là Thành hoàng mà Thành hoàng còn sống cũng rất đặc biệt. Trên bàn thờ Thành hoàng có đủ ngai thờ, bài vị và ảnh phóng đại của ông Nghè Sổ mặc dù ông còn sống, và khi tế xong thì đem phần tế lên dinh Tuần phủ biếu ông Nghè. Mấy năm sau, ông Nghè hưu trí về sống ở quê, hàng năm xã Tân Cương vẫn cử người đi chúc Tết và đem phần tế đến quê ông Nghè[5]. Huyện Hiệp Hòa có hai danh nhân được dân dựng Đình và Đền thờ cúng lúc còn sống, đó là Nguyễn Đình Tuân và Hùng Linh Công sống ở đời Hùng Vương thứ 6, thật là một sự việc hiếm có.